Von 1948 bis 1949 erwarb er an der Yale Universität in Connecticut einen Master of Law und habilitierte sich 1952 in Köln, wo er ab 1960 auch das Institut für das Recht der Europäischen Gemeinschaften leitete.
Durch seine Tätigkeit beim Bund wurde Carstens von Walter Hallstein für die Stellung als Ständiger Vertreter der Bundesrepublik Deutschland beim Europarat entdeckt. 1955 stellte ihn das Auswärtige Amt ein, in dem er schließlich Ständiger Stellvertreter des Außenministers wurde.
1955 trat Carstens der CDU bei. Während der Großen Koalition wechselte er als Staatssekretär erst ins Verteidigungsministerium, dann zu Kurt-Georg Kiesinger ins Bundeskanzleramt. 1970 übernahm er die Leitung des Forschungsinstituts der Deutschen Gesellschaft für Auswärtige Politik. 1972 erlangte er ein Bundestagsmandat und anschließend den Fraktionsvorsitz. 1976 wurde er Bundestagspräsident.
Als die CDU ihn 1979 als Kandidaten für das Amt des Bundespräsidenten aufstellte, warf die Presse ihm seine frühere nominelle NSDAP-Mitgliedschaft vor; auch ein Prozess gegen den stellvertretenden SPD-Fraktionsvorsitzenden Günther Metzger belastete den Kandidaten. Dennoch gewann Carstens die Wahl. Durch Objektivität und Volksnähe - bekannt sind seine Wanderungen durch die Bundesrepublik und die von ihm gestiftete Eichendorff-Plakette für Wandervereine - erwarb er das Vertrauen der Menschen.
1983 löste Carstens den Bundestag auf und ordnete Neuwahlen an - trotz erheblicher Bedenken, da die Vertrauensfrage von der CDU-FDP-Regierung aufgeworfen worden war, um den eigenen Bundeskanzler, der durch ein konstruktives Misstrauensvotum ins Amt gekommen war, durch Neuwahlen zu legitimieren.
1983 gab Carstens die Anthologie "Deutsche Gedichte" heraus, da die Pflege der deutschen Literatur und des Geschichtsbewusstseins, also der geistigen Einheit der Deutschen, für ihn eine Voraussetzung zur Überwindung der Teilung Deutschlands darstellte. Außenpolitisch räumte er den guten Beziehungen zu den USA eine Vorrangstellung ein.
Nach dem Ende seiner Amtszeit 1984 hielt er sich mit politischen Äußerungen zurück, wurde aber Mitglied des Ältestenrats der CDU und nahm weiterhin an zahlreichen Veranstaltungen teil. Er war Träger des Aachener Karlspreises, Ehrensenator der Universität Bonn und mehrfacher Ehrendoktor. Karl Carstens starb am 30. Mai 1992 in Meckenheim.
Karl Carstens war evangelisch. Er war mit der Ärztin Dr. med. Veronica Carstens verheiratet.